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DaimlerChrysler AG Finkele/deu 



Freiraumuberwachung bei Kraf t f ahrzeugen 



Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur 
Uberwachung des Freiraums in Fahrtrichtung eines Fahrzeuges 
nach den Oberbegrif f en der Patentanspruche 1 und 10. 

Bei schwierigen Fahrmanovern ist es fur Fuhrer von Kraftfahr- 
zeugen oft schwierig abzuschat zen, entlang welcher Bahn sich 
ihr Fahrzeug bewegen wird und welcher Freiraum zur Kollisi- 
onsvermeidung notwendig ist. Dies ist insbesondere dann der 
Fall, wenn der Fahrzeugf uhrer mit den AbmaSen des Fahrzeugs 
oder dessen Fahrverhalten nicht vertraut ist. 

Um den Fahrer bei schwierigen Fahrmanovern zu unterstiit zen, 
wird in der japanischen Of f enlegungsschrif t JP 2000-67395 A 
ein Fahrerinf ormat ionssystem beschrieben, bei welchem die 
die Fahrbahn beschreibende Bilddaten mit pradizierten Fahr- 
spuren uberlagert werden. Auf diese Weise wird es dem Fahr- 
zeugfuhrer moglich, das zukunftige Verhalten seines Fahrzeu- 
ges besser abzuschat zen. Hierzu nutzt das System die Daten 
zweier Sensoren, die an den Vorderradern des Fahrzeuges mon- 
tiert sind und so uber die Fahrtrichtung und Fahrgeschwindig- 
keit des Fahrzeuges informieren. Aus den Sensordaten wird der 
zukunftige Fahrweg pradiziert und als Linienstruktur einer 
Abbildung der Fahrspur in einer Anzeigeeinheit uberlagert. 
Nachteilig wirkt sich bei dem System aus, dass die pradizier- 
te Fahrspur nur mit dem Bild der Fahrbahn uberlagert wird und 
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dem Fahrer keine direkte bildhafte Information uber Objekte 
im Bereich des Fahrweges eingeblendet wird. 

Um dem Fahrzeugf iihrer einen besseren Uberblick uber die tat- 
sachliche Umgebung des Fahrzeugs und das Zusammenwirken mit 
diesem zu verschaffen, wird in der Patentanmeldung ein 
EP 1 158 803 A2 verbessertes Umgebungsiiberwachungssystem vor- 
geschlagen. Hierbei wird das Abbild der Umgebung des Fahrzeu- 
ges mit mehreren Kamerasystemen erfasst und in eine vogelper- 
spektivische Ansicht transf ormiert . Dieser Ansicht wird an 
der der Fahrzeugposit ion entsprechenden Stelle ein das Fahr- 
zeug reprasentierendes Fahrzeug symbol eingeblendet. Das Fahr- 
zeugsymbol ist hierbei so gestaltet, dass es in seinen Gro- 
Senrelationen stimmig in das Umgebungsbild einfugt. Die dem 
Fahrzeugf iihrer angebotene Bildinf ormat ion entspricht somit 
einem Blick von einem Punkt oberhalb des Fahrzeuges auf des- 
sen Umgebung; das heiSt, das Fahrzeug und dessen Umgebung 
wird in einer Art Vogelperspektive dargestellt. Um den Fahr- 
zeugfuhrer in seiner Abschatzung des zukiinftigen Fahrweges zu 
unterstiit zen, wird das Bildmaterial des weiteren durch eine 
dreidimensionale , einen pradizierten Fahrweg beschreibende 
Linienkontur uberlagert. Die Linienkontur wird entspricht dem 
Kantenbild eines Rechtecks, welches entlang der pradizierten 
Fahrbahn gebogen wird. Die beiden unteren Langskanten des 
Rechtecks liegen hierbei auf der Fahrbahn auf und entsprechen 
hierbei im wesentlichen den in der JP 2000-67395 A darge- 
stellten Fahrspur. Die Hohe und Breite des Rechtecks wird 
hierbei gleich oder kleiner als die Hohe und Breite des Fahr- 
zeuges gewahlt. Der Fahrzeugf iihrer erhalt durch diese Dar- 
stellungsf orm zwar eine gute Abbildung des zukunftigen Ver- 
haltens des Fahrzeuges innerhalb seiner Umgebung, durch die 
fur einen Fahrzeugf idhrer ungewohnliche perspekt ivische Dar- 
stellung ist es fur ihn jedoch nicht moglich, auf einfache 
Weise eine Kollisionsgef ahr abzuschat zen, welche sich durch 
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seitlich in den Bereich der pradizierten Fahrweg hineinragen- 
de Teile ergibt . Insbesondere von oben in den pradizierten 
Fahrweg hineinragende Teile konnen nur schwer dargestellt und 
erkannt werden. Auch ist es nicht moglich, Durchfahrten (Tun- 
nel) Oder Einfahrten (Garagen) fur den Fahrzeugf uhrer eingan- 
gig darzustellen. 

Aufgabe der Erfindung ist es deshalb, ein Verfahren und eine 
Vorrichtung zu finden, welche es dem Fuhrer eines Fahrzeuges 
ermoglicht den zukiinftigen Fahrverlauf seines Fahrzeuges in 
Bezug auf seine Umgebung zu ersehen und sicher Kollisionsge- 
fahren, durch seitlich oder von oben in den pradizierten 
Fahrweg hineinragende Teile, zu erkennen. 

Die Aufgabe wird durch ein Verfahren und eine Vorrichtung mit 
den Merkmalen der Patentanspruche 1 und 10 gelost. 

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfin- 
dung sind durch die Unteranspruche beschrieben. 

Bei dem Verfahren zur Uberwachung des Freiraums in Fahrtrich- 
tung eines Fahrzeuges werden mittels eines Kamerasystems 
Bilddaten des im Bereich der Fahrtrichtung befindlichen Fahr- 
zeugumf eldes auf genommen . Zusatzlich wird auf Basis der Be- 
triebsparameter und der Abmessungen des Fahrzeuges innerhalb 
einer Signalverarbeitungseinheit der fur eine ungehinderte 
Fahrt benotigte dreidimensionale Freiraum voraus berechnet . 
Dem Fuhrer des Kraft fahrzeuges werden dabei zumindest Teile 
der durch das Kamerasystem erfassten Bilddaten des benotigten 
Freiraums auf einer Anzeige angezeigt . In erf inderischer Wei- 
se werden die Bilddaten hierbei im wesentlichen aus einer 
Perspektive angezeigt, wie sich die in Fahrrichtung liegenden 
Fahrzeugumgebung dem Fuhrer des Fahrzeuges bei direkter Sicht 
darstellen wurde. Desweiteren werden in erf inderischer Weise 
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die dem benotigten Freiraum zugeordneten Bilddaten einer Wei- 
terverarbeitung unterzogen, wobei als ein Ergebnis dieser 
Weiterverarbeitung, der Fahrzeugf iihrer daruber informiert 
wird, ob fur eine ungehinderte Fahrt ein ausreichender Frei- 
5 raum zur Verfugung steht oder nicht . In vorteilhaf ter Weise 
wird es somit moglich, durch eine kontinuierliche Auswertung 
der Bilddaten automatisch auch auf eine dynamische Verande- 
rung des Fahrzeugumf eldes zu reagieren und den Fahrzeugf uhrer 
daruber zu informieren, ob fur eine ungehinderte Fahrt ein 
10 ausreichender Freiraum zur Verfugung steht oder nicht. Durch 

die Anzeige zumindest des den benotigten Freiraum darstellen- 
* den Teils der Bilddaten hat der Fahrzeugf uhrer die Moglich- 
keit, selbststandig das Gef ahrenpotential im pradizierten 
Fahrweg abzuschat zen . Die Darstellung der Bilddaten erfolgt 
15 hierbei nicht wie in den aus dem Stand der Technik bekannten 
Systemen in einer perspekt ivischen Darstellung, welche einer 
Sicht von oben auf die Szene entspricht (Vogelperspektive) , 
sondern im wesentlichen aus einer Perspekt ive, wie sich die 
in Fahrrichtung liegenden Fahrzeugumgebung dem Fahrzeugf uhrer 
20 bei direkter Sicht darstellen wiirde . Hierbei ist es jedoch 
denkbar, dass das Abbild der Fahrzeugumgebung, insbesondere 
bedingt durch die Optik des Kamerasystems (beispielsweise 
Weitwinkeloptik oder katadioptrische Kameraoptik) , verzerrt 
dargestellt wird. Andererseits ist es jedoch auch sehr wohl 
25 denkbar, dass im Rahmen der Weiterverarbeitung eine Verzer- 
rung der Bilddaten korrigiert wird. In fur ihn einganglicher 
Weise sieht der Fahrzeugf uhrer beim Blick auf die Anzeige ei- 
ne Abbildung der Umgebung, welche perspektivisch im wesentli- 
chen mit derjenigen Ansicht ubereinstimmt , die er beim direk- 
ten Blick aus dem Fenster selbst wahrnimmt . Es ist entgegen 
dem aus dem Stand der Technik bekannten also nicht mehr not- 
wendig, dass der Fahrzeugf uhrer die fur ihn ungewohnte vogel- 
perspektivische Darstellung in die realen Gegebenheiten um- 
setzt . 



30 



P802159/DE/1 



Die Daten uber die Abmafie des Fahrzeugs sind in einem Spei- 
cher abgelegt, auf welche die Signalverarbeitungseinheit 
zugreifen kann, um unter Zuhilf enahme von Betriebsparametern 
des Fahrzeuges den fur das Fahrmanover benotigten Fahrraum 
abzuschatzen . Dabei ist es denkbar, dass die im Speicher ab- 
gelegten AbmaSe nicht mit den tatsachlichen AbmaSen des Fahr- 
zeuges ubereinstimmen, sondern um eine gewisse Sicherheits- 
distanz erweitert werden. Eine solche Sicherheitsdistanz 
konnte in vorteilhaf ter Weise zu 20 Zentimetern angenommen 
werden. Auch ist es denkbar, diese Sicherheitsdistanz durch 
die Signalverarbeitungseinheit variabel zu handhaben und je 
nach Fahrgeschwindigkeit und/oder Gef ahrenpotential zu ver- 
groSern oder zu verkleinern. Auch kann die Sicherheitsdistanz 
fur unterschiedliche Bereiche oder Teile des Fahrzeugs unter- 
schiedlich gehandhabt werden. So ist es beispielsweise denk- 
bar, dass der Sicherheitsabstand von StoSfangern geringer 
gehalten wird, als dies fur die stoSempf indlichen Riickspiegel 
der Fall ist. 

In erf inderischer Weise wird nun dieser Speicher zur Ablage 
der Fahrzeugabmessungen so ausgelegt und organisiert, dass 
darin eine Mehrzahl von Datensatze bezuglich unterschiedli- 
cher Fahrzeugabmessungen abgespeichert sind, welche einzeln, 
durch gezielte Auswahl selektiert, der Signalverarbeitung zur 
Verfugung gestellt werden konnen. Der Speicher kann auch mit 
einem Mittel versehen sein, durch welches wenigstens einer 
der im Speicher abgespeicherten Datensatze ausgewechselt wer- 
den kann. Dies bietet den Vorteil, dass das System zur Frei- 
raumuberwachung relativ leicht an Veranderungen z.B. der 
Fahrzeugkonturen (z.B. neuer Anhanger, andere Aufbauten usw.) 
angepasst werden kann. Gerade eine solche Ausgestaltung ist, 
vor allem bei Betrieb einer Fahrzeugf lotte , insbesondere 
Lastkraf twagen mit wechselnden Aufbauten von grofiem Vorteil. 
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So kann auch elektrotechnisch unversiertes Betriebspersonal 
iiber einfache Bedienelemente das erf inderische System bedie- 
nen. Dies ohne Austausch von elektronischen Komponenten oder 
dem Verbinden und Bedienen von Programmiergeraten . 

In besonders vorteilhaf ter Weise lassen sich Anderungen in 
den AbmaSen des Fahrzeuges besonders einfach in den der Sig- 
nalverarbeitungseinheit zugeordneten Speicher iibernehmen, in- 
dem ein neuer die Abmessungen beschreibender Datensatz ein- 
fach iiber eine mobile oder stationare Datenverarbeitungsanla- 
ge iiber geeignete Schnittstellen in den Speicher eingelesen 
wird. Besonders vorteilhaf t kann bei entsprechender Ausges- 
taltung des Systems das Einlesen und die Auswahl von Daten- 
satzen auch drahtlos iiber eine Kommunikat ionsanlage erfolgen. 
Im Falle sich haufiger wiederholender (gleicher) Anderungen 
(z.B. Fahrt mit auf geladenen, bzw. abgeladenen Container) 
konnen auch mehrere unterschiedliche Fahrzeugkonturen oder - 
abmafie im Speicher der Datenverarbeitungsanlage enthalten 
sein und abgerufen werden. Insbesondere hierfur kann eine dem 
Fahrzeugf iihrer zugangliche Tastatur vorgesehen werden. In be- 
sonders einfacher und gewinnbringender Weise verfiigt diese 
Tastatur iiber einzelne den jeweils in dem Speicher abgelegten 
Datensatzen zugeordnete Tasten, so dass mit einem einzigen 
gezielten Tastendruck der gewiinschte Datensatz ausgewahlt 
werden kann. 

Nachfolgend wird die Erfindung anhand von Ausf iihrungsbeispie- 
len und mit Hilfe von Figuren im Detail erlautert. 

Figur 1 zeigt eine Bildszene (10) , bei welcher die Randbe- 
grenzung des Freiraums durch Uberlagerung von sym- 
bolisch dargestellten Wanden (16) visualisiert ist. 
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Figur 2 zeigt eine zu Figur 1 identische Bildszene (20) , 
wobei hier die Randbegrenzung des Freiraums durch 
Uberlagerung mit einem symbolisch dargestellten 
virtuellen Fahrschlauches (26) mit Schachbettmuster 
visualisiert ist. 

Figur 3 zeigt das Verhaltnis von Weltkoordinatensystem zum 
Fahr zeugkoordinatensys t em . 

Figur 4 zeigt die Abbildungsgeometrie eines parabolischen 
Spiegels . 

Figur 5 zeigt die Beziehung zwischen den Koordinaten einer 

Omnicam und denjenigen einer Lochkamera. 
Figur 6 zeigt die inverse Transformation der Bildposition 

einer Omnicam im Bezug auf ein Lochkameramodell . 
Figur 7 zeigt das durch eine Omnicam aufgenommene Bild in 

Fahrtrichtung, welches der Horizont eingezeichnet 

ist . 

Figur 8 zeigt das optische Flussfeld der Bildpunkte inner- 
halb der Szene. 

Figur 9 zeigt das optische Flussfeld fur eine Wand, welche 
senkrecht zur optischen Achse der Omnicam steht, 
bei Bewegung entlang der optischen Achse. 

Figur 10 zeigt den optischen Fluss einer Seitenwand bei der 
Bewegung des Fahrzeuges . 

Figur 11 zeigt den optischen Fluss einer horizontalen Ebene 
der Bewegung des Fahrzeuges . 

Figur 12 zeigt die Tiefenkarte eines Korridors . 

Figur 13 zeigt den optischen Fluss fur den Korridor aus Fi- 
gur 12 . 

Figur 14 zeigt farbcodiert das in Figur 13 gezeigte Fluss- 
feld fur den horizontalen Fluss. 

Figur 15 zeigt farbcodiert das in Figur 13 gezeigte Fluss- 
feld fur den vertikalen Fluss. 

Nachdem durch die Signalverarbeitungseinheit der Fahrweg und 

der hierfur notwendige Freiraum pradiziert wurde, ist es be- 
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sonders vorteilhaft, wenn im Rahmend der Weiterverarbeitung 
der Bilddaten deren dynamische, zeitliche Veranderungen die- 
ser Daten in Betracht gezogen werden . Auf diese Weise kann 
das System Objekte oder Personen erkennen, welche in den fur 
das Fahrmanover benotigten Freiraum eindringen. 1st dies der 
Fall, so sollte in gewinnbringender Weise der Fuhrer des 
Fahrzeuges daruber informiert werden, dass kein ausreichender 
Freiraum mehr zur Verfiigung steht . Diese Information kann 
insbesondere durch optisch, akustisch oder haptisch wahrnehm- 
bare Signalgeber erfolgen. Anderseits ist es auch denkbar in 
den dem Fahrzeugf iihrer angezeigten Bilddaten die den Freiraum 
behindernden Objekte oder Personen hervorgehoben darzustel- 
len. Hierzu eignet beispielsweise eine farbliche Hervorhe- 
bung, insbesondere eine in Bezug auf die Kollisionsgef ahr ab- 
gestufte Falschf arbdarstellung (beispielsweise: hohe Kollisi- 
onsgef ahr -> Objekt wird rot eingefarbt; geringe Kollisions- 
gef ahr -> Objekt wird gelb eingefarbt) . In besonders vorteil- 
hafter Weise konnen die hindernden Objekte oder Personen aber 
auch dadurch hervorgehoben werden, dass sie durch Symbole 
iiberlagert werden. Werden beispielsweise im Rahmen der Wei- 
terverarbeitung der Bilddaten bewegte Objekte mittels eines 
auf dem Optischen Fluss basierenden Bildverarbeitungsalgo- 
rithmus detektiert, so kann in gewinnbringender Weise das be- 
wegte Objekt mit symbolhaften Bewegungsvektoren (Pfeilen) 
iiberlagert werden, welche die Bewegungsrichtung und Bewe- 
gungsgeschwindigkeit (Lange der Pfeile) beschreiben. 

Eine besonders vorteilhafte Art und Weise den Fahrzeugf uhrer 
uber den ihm zur Verfiigung stehenden Freiraum zu informieren 
besteht darin, dass im Rahmen der Weiterverarbeitung der 
Bilddaten die dem Fahrzeugf uhrer angezeigten Bilddaten durch 
eine symbolische Darstellung der Randbegrenzungen des durch 
die Vorausberechnung in der Signalverarbeitungseinheit ermit- 
telten, benotigten Freiraums iiberlagert werden. Hierbei ist 
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es besonders vorteilhaf t , die Randbegrenzungen durch symbo- 
lisch dargestellte Wande zu beschreiben. Die Hohe der Wande 
entspricht hierbei der Hohe des benotigten Freiraums (d.h. im 
wesentlichen den im Speicher abgelegten Abmessungen beziiglich 
der maximalen Hohe des Fahrzeuges) . 

In besonders vorteilhaf ter Weise, wird die Randbegrenzung so 
dargestellt, dass der benotigte Freiraum durch eine Art Fahr- 
schlauch begrenzt wird; hierzu wird die Randbegrenzung durch 
symbolisch dargestellte Wande und einen Deckenbereich in Form 
eines Tunnels erfolgen. Durch diesen , Tunnelblick x wird die 
Auf merksamkeit des Fahrzeugf iihrers gezielt gelenkt, auch kann 
er wesentlich besser Objekte die seitlich oder von oben in 
den Freiraum hineinragen besser erkennen. 

Fur den Fahrer wird die Abschatzung, ob ortsfeste Gegenstande 
in den riickwartigen Freiraum hineinragen besonders einfach, 
wenn er wahrend der (Riickwarts- ) f ahrt die Relat ivbewegungen 
von Gegenstanden im Bild vergleichen kann mit der Relativbe- 
wegung eines ortsfesten symbolischen Fahrschlauches : bewegen 
sich die Gegenstande schneller als die Begrenzungen des Fahr- 
schlauches, befinden sie sich raumlich naher - also innerhalb 
des direkt gefahrdeten Bereiches. Bewegen sie sich wahrend 
der Fahrt langsamer durch das Bild, so sind sie auSerhalb des 
Fahrschlauchs und es besteht keine Gefahr, dass sie bei Wei- 
terfahrt beruhrt werden. Aus diesem Grund ist es vorteilhaf t, 
Wande und Decke, ggf . sogar den Boden, des symbolisch darge- 
stellten Tunnels so zu gestalten, dass sie 

1. ) eine geometrisch klare und eindeutig identif izierbare 

Struktur besitzen (beispielsweise : Gitterstruktur , 
Schachbrettmuster oder Aneinanderreihung von Balken) 

2. ) einen „Durchblick u auf die hinterlegte Videoszene 

gestatten (beispielsweise: durchbrochene oder halb- 
transparente Struktur der Wande und/oder der Decke) . 
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3.) Aufgrund der Fahrzeugbewegung jeweils so berechnet 
bzw. bestimmt werden, dass sie in Langs richtung 
stillzustehen bleiben. 

Um die Uberlagerung des Kamerabildes mit der symbolhaften Be- 
schreibung der Randbegrenzungen des notwendigen Freiraumes 
moglichst realistisch anmuten zu lassen, sind die Abbildungs- 
eigenschaf ten (Trans f ormat ionsgleichungen) des Kamerabildes 
zu beachten. Zum besseren Verstandnis, insbesondere bezuglich 
der Realisierung der oben unter Punkt 3 angefuhrten vorteil- 
haften Ausgestaltung (Stillstand in Langsrichtung) der gra- 
phischen Uberlagerung, werden nachfolgend beispielhaft die 
notwendigen Transf ormationsgleichungen fur die Uberlagerung 
eines mittels einer kathadioptrischen Kamera (Omnicam) mit 
einem parabol ischen Spiegel aufgenommen Bildes aufzeigt. 
Hierbei werden grundlegend und im Detail die einzelnen 
Schritte und Transf ormat ionsgleichungen aufgezeigt und herge- 
leitet, welche fur eine erf indungsgemaSe Uberlagerung des Ka- 
merabildes mit den Randbegrenzungen des notwendigen Freiraums 
benotigt werden. 

Selbstverstandlich ist die Erfindung nicht auf die Verwendung 
einer solchen Kamera beschrankt, sondern die anhand dieser 
Kamerageometrie im Detail erlauterten notwendigen Transforma- 
tionen lassen sich direkt, in einfacher Weise auch auf Kame- 
rasysteme mit anderen Abbildungseigenschaf ten ubertragen. 
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Koordinatensysteme 

Die hier verwendeten Koordinatensysteme folgen den Konventionen aus der Litera- 
tur iiber optischen Fluss {3 ] [4] . Im 3D-Kamerakoordinatensystem zeigt die Z-Achse 
in Blickrichtung, die -Y-Achse nach rechts und die V'-Achse nach unten. Die zentrier- 
ten Bildkoordinaten sind gegeben durch eine x-Achse nach rechts und eine y-Achse 
nach unten. Der Ursprung beider Koordinatensysteme ist die Bildmitte. 

Von Welt- zu Fahrzeugkoordinaten 

Fur eine auf einem bewegten Fahrzeug montierte Kamera kann man zunachst zwei 
wichtige Koordinatensysteme einfuhren: ein Weltkoordinatensystem. in dem die 
Fahrzeugumgebung ruht und ein Fahrzeugkoordinatensystem. dass sich mit dem 
Fahrzeug bewegt. siehe Fig. 3. Wenn sich das Fahrzeug in Richtung der Z\ V -Achse 
bewegt. wird die Transformation zwischen diesen beiden Koordinatensystemen durch 
die Position W{t) des Fahrzeugs im Weltkoordinatensystem beschrieben: 



(1) 



Die momentane Geschwindigkeit des Fahrzeugs ist V* = W. Damit ist die zeitliche 
Ableit.ung eines Punktes. der in der Fahrzeu&Tjmgebuno ruht: 





(2) 



Von Fahrzeug- zu Kamerakoordinaten 

In Fig. 3 ist gezcigt. d.iss die Kamerablickrichtung um einen Winkel r gegen die 
(Riickwarts-)Fahrtrichtung geneigt ist. In diesem Fall ergibt. sich die Transformation 
von Fahrzeug- zu Kamerakoordinaten wie folgt: 

(y \ = ( 0 cost -sin- J ( Y v | (3) 
\ Z j V 0 sin r cos 





(4) 

Im allgemeinen Fall enthalt diese Transformation nicht nur den Neigewinkel r, son- 
dern die drei Eulerwinkel {0][5 j. 

Aus GL 2 folgt die Bewegung eines stationaren Punktes in Kamerakoordinaten 

X = 0 (5) 
Y = Vsinr (6) 
Z = — V'cosr (7) 
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Polare Kamerakoordinaten 

Die arctan(7/ : x)-Funktion mit zwei Argumenten bestimmt die Phase der komplexen 
Zahl iriy im Wertebereich ] — tt.tt]. Die Reihenfolge der Argumente wurde nach 
dem Vorbild der ANSI-C-Funktion atan2 gewiihlt. 
Umwandlung von Polar- in cartesische Koordinaten: 



A" = RsmO cosd) 
Y = RsinOs'md} 
Z = RcosO 

Umwandlung von cartesischen in Polar koordina ten: 

R = \ZX* -r Y' 2 -r Z' 1 



0 = arcz<m(y/X' 2 -rY' 2 : Z) 
0 — arctan(y. A") 

Polare Bildkoordinaten 

Umwandlung von Polar- in cartesische Koordinaten: 

X — T COS 0 

y = r sin 0 
Umwandlung von cartesischen in Polarkoordinar.en: 

r = v 7 z 2 -r ?r 
d> = arctan(yy.x) 



(8) 
O) 
(10) 



(ID 
(12) 
(13) 



(14) 
(15) 



(16) 
(17) 



Schnittpunkte der Sichtstrahlen mit Ebenen im Objektraum 

Ein Sichtstrahlvektor w sei gegeben in Fahrzeugkoordinat.cn . Falls w t 5= 0. schnei- 
det der Strahl die Ebene A\- = a im Punkt 



p = — w 

XL'i 



Falls w-2 r 0: schneidet der Strahl die Ebene Y\ = 6 im Punkt 



p = — w 

Wo 



(IS) 



(19) 



Falls u-3 ^ 0, schneidet der Strahl die Ebene Z\ = c im Punkt 



p = — w 

w 3 



(20) 
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Omnicam-Abbildung 
Spiegelform 

Die Abbildung durch die hier modellierte Omnicam erfolgt in zwei Schritten: Eine 
Reflexion an eineni parabolischen Spiegel gefolgt von einer orthographischen Abbil- 
dung feflif. 

Die paraboloide Spiegeloberflache mit einer Brennweite / ist gegeben durch 



(21) 



Dieser Ausdruck wird in vielen folgenden Gleichungen verwender,. D.h. dort stent z 
fur den Term auf der rechten Seite der Gleichung. der von der Bildposition (x. y) 
abhangx. Da der Fokus der Paraboloids im Koordinatenursprung ist, ist die Blick- 
richtung am Bildpunkt (x.y) gegeben durch 



(22) 




Die Ableitung der Paraboloid-Gleichung (21) ist 

dz_ 

dx ~~ 2/ 
dz y 

dy ~ ~2f 

D.h.. ein Normalenvektor auf die Spiegeloberflache hat die Richtung 




(23) 
(24) 

(25) 



Dabei wird nicht gefordert. dass s(x.y) oder m(x,y) Eiuhoitsvektoren sind. 
Projektion von Punkten 

Die Omnicam-Abbildung ist am einfachsten darstellbar in Polarkoordinaten: 

r = 2/tan? (26) 

Wie oben eingefuhrt. ist r der Abstand von der Bildmitte. gemessen in Pixeln. 8 ist 
die Neigung der Blickrichtung zur optischen Achse. Diese Beziehung kann mithilfe 
von Fig. 4 und GL (25) ableiten. Das Azimut o ist in Kamera- und Bildkoordinaten 
gleich. 

In cartesischen Koordinaten lautet dies 
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Projektion von Geraden 

Eine Gerade im Rauni ist gegeben durch einen Punkt p und eine Richtung / = 
(hih-.hY mit l*l — 1- Der Vektor n = p x I ist senkrecht auf der Ebene. die 
durch die Gerade und den Ursprung der Kamerakoordinaten aufgespannt wird. Die 
Komponenten von n bestimmen die Art des Omnicam-Bildes der 3D-Geraden: 

• Fails n = 0. schneidet die Gerade den Ursprung und ihr Bild ist ein Punkt 
mic den Koordinaten 



V = 



l + i 3 
2fh 



(29) 
(30) 



c . 



* 



• Falls n ^ 0. aber n 3 = 0. ist die 3D-Gerade parallel zur optischen Achse und 
ihr Bild ist eine 2D-Gerade durch die Bildmitte mit der Gleichun£ 



nil + noy = 0 



(31) 



• Andernfalls isc das Bild der Geraden ein Kreisbogen mit Mittelpunkt (x c ,y c ) 
und Radius r: 



x c = 2fn 1 /n 3 

Vc = 2/n- 2 /n 3 

r = 2f\n\/n A 

Abstand von Ebenen 

Die Liinge des Vektors s(x,y) aus Gl. (22) ist 

Hx.y)\ = jx* + j/-' + "> = / + x " 



(32) 
(33) 
(34) 



4/ 



= 2/ 



(35) 



Daher hat ein Punkt in der Entfernung B. mit der Bildpo.sit.ion (x.y) die Kaniera- 
koordinaten 

\ Z J \8{x,y)\ 

Dies ergibt eine kompakte Beziehung zwischen den Kamerakoordinaten eines Ob- 
jektpunktes einerseits sowie Abstand R und Bildposition (x.y) andererseits: 



(37) 




oder ausfuhrlicher 




(38) 



Der Abstand einer senkrechten Wand mit der Gl. A' = a ist so fur einen Bildpunkt 
(x.y) gegeben durch 



R(x,y) = V—?-a 



(39) 
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oder ausfiihrlicher 



R(x,y) = 



4/--+X- 



4/x 



(40) 



Falls a < 0 ist die Wand nur auf der linken Bildseite (x < 0) sichtbar und umgekehrr.. 
Eine horizontale Ebene hat, die Gleichung Yy = b im Weltkoordinatensystem. Mit 
Gl. (4) kann man dies in Kamerakoordinaten transfer mieren: 



Y cos t -r Z sin r = b 



Eingesetzt in Gl. (38): 



2/" - = 



y cos * 



z sin - 



oder ausfuhrlich 



R{x,y) = 



4/a + x 2 + y 3 



4/y cos r -i- (4/- — z- — 2/' 2 ) sin r 
Falls 6 > 0 ; ist die Ebene nur unt.erhalb des Horizonts sichtbar. 



(41) 



(42) 



(43) 



Rektifikation von Omnicam-Bildern 

Fur Omnicanis mit einem effektiveu Projektionspunkt kann aus dem Omnicam-Bild 
eine Lochkameraansicht rekonstruierr werden. [l] Die zen trier ten Lochkamerakoor- 
dinaten sind gegeben durch die Projektionsgleichung 

x' = /f (44) 

//' = S\ (45) 

Die Beziehung zwischen den Onmicain- und Loehkumenikoordinaten sind gegeben 
durch eine Kompressionsfunkr.ion. die man aus Gl. (-7f) ableitcti kann: 

Einen Graphen dieser Kompressionsfunkuon zeigt Fig. 5. 

Die Omnicam-Bildposition (x. y) enr.spricht. den zentriercen Lochkamerakoordinaten 
(x',y') gemafi 



f 



x = k( vx " ' V ~ )x' (47) 



y = < v/x ' / y ' 2 )y' (48) 



Die inverse Transformation ist 



4/2 - (49) 



4/2 - x* - ya 



Einen Graph dieses Koeffizienten 4/(4 - p 2 ) zeigt Fig. 6. 
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Horizont und FOE 

Zur Beschreibung der Effekte der Fahrzeugbewegung im Bild ist benutzt man die 
BegrifTe Horizont und Expansionspunkt (oder FOE von engl. focus of expansion). 
Fig. 3 zeigt : wie eine geneigte Kamera vom Fahrzeug mitbewegt wird. das sich in 
einer horizontalen Ebene bewegt. Der Horizont ist das Bild einer dazu parallelen 
Ebene, die durch das Projektionszentrum gehc. wie in Fig. 7 gezeigt. Der Haupt- 
punkt der Kamera ist mit x markiert. der FOE mit einem -f. der Horizont als gelbe 
Linie. 

Eine Gerade in der Horizontebene ist gegeben durch einen Punkt pv = (0. 0. l) f und 
die Richtung ly = (1. 0, Q) 1 . Eine Normale auf der Horizontebene ist nv = (0. 1.0)'. 
und hat die Kamerakoordinaten n = (0. cos r. sin r) £ . Wie oben diskutiert, muss 
man zwei Falle unterscheiden 

• Fur Kameraneigung r = 0 ist der Horizont eine Gerade mit y = 0. 

• Fur r ^ 0 ist der Horizont ein Kreisbogen. dessen Mittelpunkt und Radius 
gegeben sind durch 



Fur die in Fig. 3 gezeigte. geradlinige horizontal Bewegung liegt der FOE in der 
Mine des Horizon ts: 



*H = 0 

?7H = 2/cotr 
r H = 2//sinr 



(51) 
(52) 
(53) 



*FOE 



= 0 



(54) 



Die Ordinate ergibt sich fiir r ^ 0 



Vfoe = Vu - r u = -2/ tan '- 



(55) 



wie auch aus Gl. (26) folgt. 



P802159/DE/1 



17 



Bei einer symbol ischen Darstellung des Fahrraums durch ein 
Gittermuster bestehen nun gerade die Gitterelemente aus senk- 
rechten und waagerechten Abschnitte von Geraden pi, li, gemaS 
der Erlauterung zu den Gleichungen (29) bis (34), wobei die 
5 pi jeweils Aufpunkte auf den Geradenabschnitten und li je- 
weils einen von zwei Einheitsvektoren in Richtung der ent- 
sprechenden Gitterelemente darstellt. Diese Geradenabschnitte 
werden wie angegeben in Kreisabschnitte auf der Bildsensor- 
flache transf ormiert und diese als Gittermuster dargestellt. 
10 Die ortsfeste Darstellung der symbolischen Gitterelemente 

wird nun dadurch bewerkstelligt , dass bei einer - etwa durch 
einen Drehgeber am Rad gemessene - Fahrt urn die Strecke s in 
Langsrichtung des Fahrzeugs alle Aufpunkte li urn die Strecke 

-ja s entgegen der Fahrtrichtung verschoben werden. 

*15 Pi neu =pi-s*e 

wobei e den Einheit svektor in Fahrzeuglangsrichtung im Kame- 
rakoordinatensystem darstellt. 

Weiterhin ist es sinnvoll, dass der Fahrer sein Fahrzeug 
2 0 nicht unbedingt dauernd bewegen muss, urn auf die beschriebene 
Weise anhand der Bewegungsmuster im Bild die Gefahrdung von 
Objekten zu bestimmen. Es sollte ihm deshalb ermoglicht wer- 
den, z.B. durch Betatigung einer Taste eine Wiederholung der 
letzten Bewegungssequenz auf dem Anzeigesystem zu generieren. 
25 Dieses kann z.B. das Bildmaterial der letzten 5m Fahrstrecke 
mit eingeblendetem Fahrschlauch , dargestellt in einer Endlos- 
schleife sein. 



Mogliche Gestal tungselemente des symbolischen Fahrschlauchs , 
3 0 welche die im letzten Abschnitt beschriebenen Bedingungen der 
klaren geometrischen Struktur und der Transparenz erfullen 
sind z.B. die Darstellung der Randbegrenzung mittels eines 
Gittermusters , einer Aneinanderreihung von Balken oder eines 
Schachbrettmusters . 

35 

Figur 1 zeigt eine Bildszene 10, bei welcher die Randbe- 
grenzung des Freiraums durch Uberlagerung von symbolisch dar- 
gestellten Wanden 16 visualisiert ist. Die der realen Szene 
zuzuordnenden Bilddaten sind durch die gewinnbringende Ver- 
40 wendung einer katadioptrischen Kamera verzerrt. Fur eine 

Fahrzeugf uhrer jedoch sehr leicht wahrnehmbar sind die we- 
sentlichen Objekte im Umfeld, wie beispielsweise die Fahrzeu- 



P802159/DE/1 



18 



ge 11 und 12, sowie die Garage 13 mit dem Rolltor 14 sehr 
leicht zu erkennen. In dem dargestellten Beispiel bildet sich 
durch die Verwendung der katadioptrischen Kamera, der in 
Fahrtrichtung liegende Teil Bereich 15 des eigenen Fahrzeuges 
am unteren Rand der dargestellten Bilddaten ab. Eine solche 
Darstellung hat den Vorteil, dass dem Fahrzeugf uhrer eine Be- 
obachtung der potentiell am meisten kollisionsgef ahrdeten Be- 
reiche des Fahrzeuges ermoglicht wird. 

Ohne die Uberlagerung der Bilddaten mit den symbolischen Wan- 
den 16 ware es fur den Fahrzeugf uhrer jedoch sehr schwer si- 
cher abzuschat zen, ob er mit seinem Fahrzeug in die Garage 13 
einfahren kann, ohne gegen das teilweise herabgelassene Roll- 
tor 14 zu stoSen. Die symbolhaften Wande zeigen ihm jedoch 
an, dass fur sein Fahrzeug noch ausreichend Freiraum unter 
dem Rolltor vorhanden ist, urn kollisionsf rei in die Garage 
einzufahren. Aus dem geraden Verlauf der symbolhaften Wande 
kann der Fahrzeugf iihrer auch entnehmen, dass sein Fahrzeug 
zur Einfahrt in die Garage bereits optimal ausgerichtet ist, 
so dass er wahrend des Fahrbetriebs keine wesentlichen Lenk- 
korrekturen mehr vornehmen muss. 

Figur 2 zeigt eine zu Figur 1 identische Bildszene (20) , 
wobei hier die Randbegrenzung des Freiraums durch Uberlage- 
rung mit einem symbolisch dargestellten virtuellen Fahr- 
schlauches (26) mit Schachbettmuster visualisiert ist. Durch 
die Verwendung eines Schachbrettmusters zur Hervorhebung der 
Randbegrenzungen wird bei der Betrachtung der Bildszene auf 
der Anzeige in besonders einganglicher Weise die Eigenbewe- 
gung des Fahrzeuges deutlich. Dies ist besonders dann vor- 
teilhaft, wenn aufgrund groSer Enge mit nur sehr geringen Ge- 
schwindigkeiten gefahren werden kann. 

Durch die in den dargestellten Beispielen verwendete klare 
geometrische Struktur des symbolischen Fahrschlauchs wird in 
Verbindung mit einer verzeichnenden Optik, etwa einem katadi- 
optrischen Objektiv ein weiterer Vorteil erzielt: durch die 
Ref erenzstruktur des auf die gleiche Art verzeichneten symbo- 
lischen Fahrschlauches fallt es dem Fahrer wesentlich leich- 
ter, die Verzeichnungen des Objektivs unbewusst abzuschat zen 
und zu berucksichtigen. Besonders deutlich wird dieses in den 
Figuren 1 und 2 dargestellten Beispielen am Bildrand rechts 
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und links, in denen der Blick auf eine querende Fahrbahn zu 
sehen ist . Beispielsweise erleichtern die in Figur 2 gezeigte 
gewolbten Begrenzungen des rechteckigen Fahrschlauches die 
Interpretation, welches die in Realitat unten und oben lie- 
5 genden Elemente der Szene sind. Bei der hier gewahlten Ver- 
zeichnung liegt die Strasse als unteres Element innen und der 
Himmel am auSeren Rand der kreisf ormigen Darstellung. 

In besonders vorteilhaf ter Weise eignet sich die Erfindung 
10 zur Ruckraumuberwachung beim Rangierbetrieb eines Kraft fahr- 
zeuges. Hierbei ist der ruckwartige Raum fur den Fahrzeug- 
fiihrer oft nicht direkt einsehbar, so dass er auf eine 
besonders eingangige Darstellung der Umgebung und der Inter- 
aktion seines Fahrzeuges darin angewiesen ist. 

15 

Eine weitere Unterstiit zung und Entlastung des Fahrers beim 
Rangieren kann erreicht werden, wenn ihm der oben beschrie- 
bene Vergleich der Bewegung eines ortsfesten Fahrschlauches 
mit der tatsachlichen Bewegung von Gegenstanden im Bild nicht 

2 0 mehr anhand des Augenscheins iiberlassen, sondern von einer 

Berechnungseinheit selbstandig vorgenommen wird. Dieses ist 
moglich mit der Anwendung von z.B. der Robotik bekannten Ver- 
fahren des Vergleichs des gemessenen optischen Flusses im 
Bild mit dem errechneten optischen Flusses eines Modellvek- 
25 torfeldes, hier dem Modell eines geometrisch definierten 
Fahrschlauches entsprechend Figur 13 . 

I> Die fur die automatische Auswertung und den Vergleich des 

* optischen Flusses notwendige Algorithmik ist nachstehend 

3 0 beispielhaft fur die Verwendung eines Kamerasystems bestehend 

aus einer kathadioptrischen Kamera (Omnicam) mit einem para- 
bolischen Spiegel beschrieben. Selbstverstandlich lassen sich 
diese Grundlagen entsprechend auch auf andere Kamerasysteme 
mit anderen optischen Eigenschaf ten ubertragen. 

35 
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Optischer Fluss 
Allgemeiner optischer Fluss 

The derivative of the Omnicani projection equations Die Zeitableitung der Omnicam- 
Abbildungsgleichungen (27f) ist 

_ 2/-(fl-(fi+Z)-.Y a ) ■ 2/A'V ■ 2/.Y . 

A FTRTZF 1 R ■ (R + Z) ( ° 6) 

2/A-y • a 2/-(jz-(/z + z)-y 2 ) , _ 2 /y . 

J ft-(Jl + Z) a ' ' i?.(i?-fZp R-(R+Z) 

Setzt man die Abbildungsgleichungen (27f) wieder ein. ergibt sich 

\" ' 2/ J R 2f R R 

y 2/ R ' \- ' 2f J R V R 

Optischer Fluss bei geneigter Kamera 

Fiir eine geneigte Kamera wie in Fig. 3 wird die Bewegung beschrieben durch 
GL (5f). Setzt man dies in die Gl. (5Sf) oben ein. folgt 



(58) 
(59) 



(60) 



= \ ' ( //CQSr + ^ + Tf) sinrjj (61) 

Dabei beachte man. dass R and z von der Bildposition abhiingen. Ausfiihrlichor 
lautet daher der vertikale Fluss 

V ( 4f - -r x- - v 2 \ 
,V = R ' \ fJ COS 7 + "^^ 4/ Sln T J (62) 

Der Abstand #(x. //) moduliert den horizontalen und vertikalen Fluss mir deniselben 
Vorfaktor. Daher beeinflusst R(x, y) nur die Lange der Flussvektoren, nicht aber de- 
ren Richtung. Wie gezeigt. wird die Flussrichtung nur durch die Kamerabewegung 
bestimrnt. d.h. durch die Lage des Expansionspunktes. Fiir diese Translationsbe- 
wegung ist die Richtung der Flussvektoren also unabhangig von der Tiefenstruktur 
der Umgebung. 

Optische Fluss bei Kamera in Fahrtrichtung 

Fiir eine Omnicarm deren Achse in Fahrtrichtung zeigt. vereinfachen sich die Fluss- 
gleichungen (60f): 

i = if (63) 

Vy 

V = (64) 

Dies ist dem Flussfeld der Lochkamera sehr ahnlich. Der einzige Unterschied besteht 
im Nenner R. bei der Lochkamera steht dort Z. Bei beiden Kameratypen ist das 
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Flussfeld in diesem Fail rein radial, d.h. der Flussvektor (x.y) ist parallel zum 
Radiusvektor (x.y). auch wenn sich R(x.y) uber das Bild andert. 
Fiir eine frontoparallele Wand bei der Tiefe Z — c foigt aus Gl. (38) 

Daher siehc das zugehdrige Flussfeld aus wie in Fig. 9 gezeigt: 

Vx 4/ 2 -x 2 -y 2 



C 4/ 2 + X 2 + y 2 



(66) 



_ Vy 4/ 2 - x- - y 2 
Optischer Fluss einer vertikalen Seitenwand 

Man betrachte nun wieder eine Kamera mit Neigungswinkel r ani Fahrzeug wie in 
Fig. 3. Eine vertikaJe Seitenwand parallel zur Fahrrichtung ist gegeben durch X = a. 
Die Wandencfernung nach Gl. (39) kann man in die allgemeine Flussgleichung (60f) 
einsetzen: 



V ( y . \ x- 

y = | ■ (ycosr + (.- + fj) sin r) • — c — 



Ausfiihrlicherlicher lautet dies so: 

4/x 2 



x - — • cos r sin t ) 

" V 2/ / 

V = — - I cos " t 
« \ 



4/ 2 + x 2 4- »= 



(68) 
(69) 

(70) 



4/ 2 -i- x 2 - y 2 . \ 4/xy 

37- ™) • Tjr^TTl? 

Dies ist in Fig. 10 illustriert. 

Optischer Fluss einer horizontalen Ebene 

Eine horizontale Ebene (z.B. die Strafie oder ein Garagendach) ist gegeben durch 
} v = b. Die Wandentfernung nach Gl. (42) kann man in die allgemeine Flussglei- 
chung (60f) einsetzen: 

V'x / y . \ w cos r -r z sin r 0mm , 

x = x( cosr -^7 s ' ny J- 2 /-« — (72) 



V / , x 2 . . \ t/ cos r -r s sin r 
y = T .^co5r + (* + -) B mrj. — 

Ausfiihrlicherlicher lautet dies so: 

-r - IE f rn c- » „ itl ~^ 4/ycosT + (4/ 2 - x 2 - y 2 ) sinr 

x — — ■ i cos i — — — bin / - -— 

b V V ) 4/ 2 .-f x 2 + y 2 

V'y / 4/2 + JC 2_ y 2 \ 4/j/cOS" -r (4/ 2 - X 2 

y = — • cos r 4- — — sin t) ■ ,., 

b V 4/y ) 4f*+x*+y 



(73) 
(74) 



Dies ist in Fig. 11 illustriert. 
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Zur Vereinfachung kann man noch die driue binomische Formel anwenden: 



Optischer Fluss eines Korridors 

Fig. 12 zeigt die Tiefenkarte eines Korridors. Der Seirenbalken zeigt die zur Codie- 
rung der Tiefe verwendeten Farben. Die Tiefe wurde nach GL (39) fur die vertikalen 
Wande und GL (42) fur den horizontalen Boden und die Decke berechnet. 
Fig. 13 zeigt den theoretisch erwarteten Fluss fur diesen Korridor. Er kann nach 
GL (70f) fiir die vertikalen Wande und GL (75f) fur Boden und Decke berechnet 
werden. Horizont und FOE sind wie oben durch den gelben Kreisbogen bzw. ein 
Pluszeichen markiert. Die Fig. 14 und 15 zeigen dasselbe Flussfeld als farbkodierte 
Bilder jeweils fiir den horizontalen und vertikalen Fluss. 



x 



Y " ( cosr- 27 sinT ) " 




(75) 



y 



V (4f y cos 7t (4 /'- - jr) sin r) _> - i 4 sin 2 r 
4fb Af- + z 2 + y- 



(76) 
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Diejenigen Stellen im Bild, an denen der Modellfluss geringer 
ist, als der tatsachlich gemessene Fluss, sind potentielle 
Kollisionskandidaten und werden als solche dem Fahrer in 
einer auffalligen Farbe dargestellt und konnen bei 
entsprechender GroSe auch zur Generierung eines 
beispielsweise akustischen Warnsignals herangezogen werden. 
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Patentans p ruche 

1 . Verf ahren zur Uberwachung des Freiraums in Fahrtrichtung 
eines Fahrzeuges, 
5 bei welchem mittels eines Kamerasystems Bilddaten des im Be- 
reich der Fahrtrichtung befindlichen Fahrzeugumf eldes aufge- 
nommen werden, 

wobei zusatzlich auf Basis der Betriebsparameter und der Ab- 
messungen des Fahrzeuges der fur eine ungehinderte Fahrt be- 
10 notigte dreidimensionale Freiraum in einer Signalverarbei - 
tungseinheit voraus berechnet wird, 

und wobei dem Fiihrer des Fahrzeuges zumindest der den beno- 
tigten Freiraum darstellende Teil der erfassten Bilddaten an- 
gezeigt wird, 

15 dadurch gekennzeichnet, 

dass die Anzeige der Bilddaten hierbei im wesentlichen aus 
einer Perspektive erfolgt, wie sich die in Fahrrichtung lie- 
genden Fahrzeugumgebung dem Fiihrer des Fahrzeuges bei direk- 
ter Sicht darstellen wiirde, 

2 0 und dass wenigstens die dem dreidimensionalen Freiraum zuge- 
ordneten Bilddaten einer Weiterverarbeitung unterzogen wer- 
den, 

wobei als ein Ergebnis dieser Weiterverarbeitung, der Fahr- 
zeugfuhrer daruber informiert wird, ob fur eine ungehinderte 
2 5 Fahrt ein ausreichender Freiraum zur Verfiigung steht oder 
nicht . 
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2 . Verf ahren nach Anspruch 1 , 

dadurch gekennzeichnet, 

dass die Weiterverarbeitung dynamische, zeitliche Veranderun- 
gen in den Bilddaten in Betracht zieht . 

5 

3. Verf ahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass die Information des Fahrzeugf uhrers fur den Fall, dass 
fur eine ungehinderte Fahrt kein ausreichender Freiraum zur 
10 Verfiigung steht, durch Warnmittel, insbesondere durch op- 

tisch, akustisch oder haptisch wahrnehmbare Signalgeber, er- 
f olgt . 

4. Verf ahren nach einem der vorhergehenden Anspriiche, 
15 dadurch gekennzeichnet, 

dass die Information des Fahrzeugf uhrers fur den Fall, dass 
fur eine ungehinderte Fahrt kein ausreichender Freiraum zur 
Verfiigung steht, die bildliche Darstellung zumindest eines 
Teils der weiterverarbei teten Bilddaten erf olgt, 
20 wobei in diesen Bilddaten diejenigen Objekte, welche sich be- 
hindernd im benotigten Freiraum befinden von den anderen 
Bildobjekten hervorgehoben dargestellt werden. 

5. Verf ahren nach Anspruch 4, 

25 dadurch gekennzeichnet, 

dass die Hervorhebung dergestalt erf olgt, dass die behindern- 
den Objekte mit Symbolen uberlagert werden, welche deren Be- 
wegungsrichtung und/oder deren Bewegungsgeschwindigkeit rep- 
rasentieren. 

30 

6. Verf ahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass die Information des Fahrzeugf uhrers bezuglich des Vor- 
handenseins eines ausreichenden Freiraums durch die bildliche 
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Darstellung zumindest eines Teils der weiterverarbeiteten 
Bilddaten erf olgt , 

wobei dargestellten Bilddaten durch eine symbolische Darstel- 
lung der Randbegrenzungen des durch die Vorausberechnung in 
der Signalverarbeitungseinheit ermittelten, benotigten Frei- 
raums uberlagert werden. 

7. Verfahren nach Anspruch 6, 

dadurch gekennzeichnet, 

dass die symbolische Darstellung der Randbegrenzungen durch 

symbolisch dargestellte Wande erf olgt . 

8. Verfahren nach Anspruch 6, 

dadurch gekennzeichnet, 
dass die symbolische Darstellung der Randbegrenzungen durch 
symbolisch dargestellte Wande und einen Deckenbereich 
und/oder Bodenbereich in Form eines Tunnels erf olgt . 

9. Verfahren nach einem der Anspriiche 6 bis 8, 
dadurch gekennzeichnet, 

dass die Randbegrenzung mittels eines Gitters, einer Aneinan- 
derreihung von Balken oder in Form eines Schachbrettmusters 
visual isiert wird . 

10. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass die Wandbereiche und/oder der Deckenbereich und/oder der 
Bodenbereich so gestalten werden, dass sie 

- eine geometrisch klare und eindeutig identif izierbare 
Struktur besitzen, 

- einen „Durchblick" auf die hinterlegte Videoszene gestatten 
und 

- so berechnet sind, dass sie auch wahrend der Fahrzeugbewe- 
gung in Langsrichtung still zustehen scheinen. 
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11. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass die dem Fiihrer des Fahrzeuges anzeigte Szene zumindest 
fur eine bestimmte zuruckliegenden Zeitraum oder eine be- 
stimmte zurvickgelegte Fahrstrecke zwischengespeichert wird 
und durch den Fahrzeugf uhrer zur wiederholten Ansicht abgeru- 
fen werden kann. 

12. Verfahren nach einem der Anspruche 6 bis 11, 
dadurch gekennzeichnet, 

dass die mit den Randbegrenzungen des notwendigen Freiraums 
uberlagerte, Kamerabilddaten einem auf dem optischen Fluss ba- 
sierenden Bildverarbeitungsverf ahren zugefuhrt werden, wel- 
ches die Bewegung der ortsfesten Randbegrenzungen in den 
Bilddaten mit der tat sachlichen Bewegung von Gegenstanden im 
Bild vergleicht, 

wobei diejenigen Stellen im Bild, an denen der Modellfluss 
geringer ist, als der tatsachlich gemessene Fluss, als poten- 
tielles Kollisionsobj ekt gewertet wird. 

13. Verfahren nach Anspruch 12, 

dadurch gekennzeichnet, 
dass bei Vorhandensein eines potentiellen Kollisionsobj ekts 
dieses bptisch, beispielsweise farblich, hervorgehoben wird 
und/oder der Fahrzeugf uhrer durch ein Warnsignal davor ge- 
warnt wird. 

14 . Vorrichtung zur Uberwachung des Freiraums in Fahrtrich- 
tung eines Fahrzeuges, 

mit einem Kamerasystem zur Erfassung von Bilddaten aus dem in 
Fahrtrichtung des Fahrzeuges befindlichen Fahrzeugumf eldes , 
mit einer Signalverarbeitungseinheit , welche mit Sensoren zur 
Erfassung der Betriebsparameter des Fahrzeugs in Verbindung 
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steht und einen Speicher auf weist, in welchem Daten beziig- 

lich der Abmessungen des Fahrzeugs abgelegt sind, 

sowie mit einer mit der Signalverarbeitungseinheit in Verbin- 

dung stehenden Anzeigeeinheit zur Anzeige zumindest des den 

benotigten dreidimensionalen Freiraum darstellende Teils der 

Bilddaten, 

dadurch gekennzeichnet, 

dass der der Signalverarbeitungseinheit zugeordnete Speicher 
so ausgelegt und organisiert ist, 

dass eine Mehrzahl von Datensatze beziiglich unterschiedlicher 
Fahrzeugabmessungen abgespeichert sind, welche gezielt ausge- 
wahlt und der Signalverarbeitungseinheit zur Verfugung ge- 
stellt werden konnen, 

und/oder dass der Speicher mit einem Mittel versehen ist, 
durch welches der wenigstens eine im Speicher abgespeicherte 
Datensatz ausgewechsel t werden kann. 

15. Vorrichtung nach Anspruch 14, 
dadurch gekennzeichnet, 

dass das Mittel zur gezielten Auswahl eines der im Speicher 
abgespeicherten Datensatze eine vom Fahrzeugf uhrer bedienbare 
Tastatur ist . 

16. Vorrichtung nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass das Mittel zum Austausch wenigstens eines im Speicher 
abgespeicherten Datensatzes eine Kommunikationseinrichtung, 
zur Fernubertragung von Daten, umf asst . 

17. Vorrichtung nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass das Kamerasystem zumindest eine katadioptrische Kamera 
umf asst . 
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18. Vorrichtung nach einem der vorhergehenden Anspriiche , 
dadurch gekennzeichnet, 
dass die Vorrichtung einen Speicher zur Zwischenspeicherung 
zumindest von Teilen der dem Fiihrer des Fahrzeuges angezeig- 
5 ten Bilddaten umfasst, 

und dass ein Mittel vorgesehen ist, mittels welcher der Fahr- 
zeugfiihrer diese zwischengespeicherten Bilddaten zur wieder- 
holten Ansicht abrufen kann. 

10 19. Vorrichtung nach einem der vorhergehenden Anspriiche, 
% dadurch gekennzeichnet, 

% dass die Vorrichtung eine Einheit zur Bildverarbeitung auf 
J Basis des optischen Flusses umfasst, mittels welcher die mit 

den Randbegrenzungen des notwendigen Freiraums iiberlagerten 
15 Bilddaten dahingehend verarbeitet werde konnen, 

dahingehend dass die Bewegung der ortsfesten Randbegrenzungen 

in den Bilddaten mit der tatsachlichen Bewegung von Gegens- 

tanden im Bild verglichen werden, 

so dass diejenigen Stellen im Bild, an denen der Modellfluss 
20 geringer ist, als der tatsachlich gemessene Fluss, als poten- 
tielles Kollisionsobj ekt gewertet werden konnen. 

| 20. Vorrichtung nach Anspruch 19, 

dadurch gekennzeichnet, 

2 5 dass die Vorrichtung eine Einheit zur Bildverarbeitung so mit 

der Anzeige fur den Fahrzeugf uhrer und/oder Warnsignalgebern 
in Verbindung steht, 

so dass die potentiellen Kollisionsobj ekte in den dargestell- 
ten Bilddaten hervorgehoben werden konnen oder dass der Fahr- 

3 0 zeugf uhrer vor diesen Objekten gewarnt werden kann. 
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21. Verwendung des Verfahrens und der Vorrichtung nach einem 
der vorhergehenden Anspruche, bei der Ruckraumuberwachung im 
Ranggierbetrieb von Fahrzeugen. 




Figur 4 



Omn cam compression function 
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Figur 5 




Figur 6 
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Figur 7 



Cptcai flow direction fat inclined omncam 
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Figur 8 



Optical fbw for omnbam boking at frontoparaltel wall 
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Figur 9 



Optical Ifow to i inclined omnicam boking at veiticai wall 
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Figur 10 



Optical fbw foi inclined omnicam looking at giound floor 
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Figur 12 



Optical fbw lor inclined omnicam baking into corridor 
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Figur 13 



Hor bontal fbw for inclined omnicam boking into con idot 
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Figur 14 




Figur 15 
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Zusammenf assung der Erfindung 
Freiraumiiberwachung bei Kraf tf ahrzeugen 

Bei schwierigen Fahrmanovern ist es fur Fuhrer von Kraftfahr- 
zeugen oft schwierig abzuschatzen, entlang welcher Bahn sich 
ihr Fahrzeug bewegen wird und welcher Freiraum zur Kollisi- 
onsvermeidung notwendig ist. Dies ist insbesondere dann der 
Fall, wenn der Fahrzeugf uhrer mit den AbmaSen des Fahrzeugs 
oder dessen Fahrverhalten nicht vertraut ist. 

Es wird ein Verfahren zur Uberwachung des Freiraums in Fahrt - 
richtung eines Fahrzeuges vorgeschlagen, bei welchem mittels 
eines Kamerasystems Bilddaten des im Bereich der Fahrtrich- 
tung befindlichen Fahrzeugumf eldes aufgenommen werden. Zu- 
satzlich wird auf Basis der Betriebsparameter und der Abmes- 
sungen des Fahrzeuges innerhalb einer Signalverarbeitungsein- 
heit der fur eine ungehinderte Fahrt benotigte Freiraum vor- 
aus berechnet. Dem Fuhrer des Kraf t fahrzeuges werden dabei 
zumindest Teile der durch das Kamerasystem erfassten Bildda- 
ten des benotigten Freiraums auf einer Anzeige angezeigt. In 
erf inderischer Weise werden die dem benotigten Freiraum zuge- 
ordneten Bilddaten einer Weiterverarbeitung unterzogen, wobei 
als ein Ergebnis dieser Weiterverarbeitung, der Fahrzeugf uh- 
rer daruber informiert wird, ob fur eine ungehinderte Fahrt 
ein ausreichender Freiraum zur Verfugung steht oder nicht. In 
vorteilhaf ter Weise wird es somit moglich durch eine kontinu- 
ierliche Auswertung der Bilddaten automatisch auch auf eine 
dynamische Veranderung des Fahrzeugumf eldes zu reagieren und 
den Fahrzeugf uhrer daruber zu informieren, ob fur eine unge- 
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hinderte Fahrt ein ausreichender Freiraum zur Verfugung steht 
oder nicht. In einer besonders vorteilhaf ten Ausgestaltung 
der Erfindung werden im Rahmen der Weiterverarbeitung der 
Bilddaten die dem Fahrzeugf iihrer angezeigten Bilddaten durch 
eine symbolische Darstellung der Randbegrenzungen des durch 
die Vorausberechnung in der Signalverarbeitungseinheit ermit- 
telten, benotigten Freiraums uberlagert. Hierbei ist es be- 
sonders vorteilhaf t, die Randbegrenzungen durch symbolisch 
dargestellte Wande zu beschreiben. Die Hohe der Wande ent- 
spricht hierbei der Hohe des benotigten Freiraums (d.h. im 
wesentlichen den im Speicher abgelegten Abmessungen bezuglich 
der maximalen Hohe des Fahrzeuges) . 



(Figur 1) 



